golang csv

2020-06-15 · 阅读 19803 · 字数 289

从百度统计后台导出并下载了实时访客的 CSV 文件。想本地解析一下，并导入到 MySQL 中做备份，因为百度统计只能保留两个周的历史数据，且上限为5000条。 golang 解析 csv 代码 这里用到了 golang 内置的 "encoding/csv" 库，能自动读取一行 csv 数据，并返回 slice 类型的数据。 package main import ( "encoding/csv" "fmt" iconv "github.com/djimenez/iconv-go" "io&quo ...

阅读全文...

2020-06-15 · 阅读 8725 · 字数 216

想把 golang colly 爬取的网站所有页面的 SEO 信息写入到一个 CSV 文件，方便排查是否有重复设置。 指定分隔符 因为 title, keywords, decription 信息中都可能包含逗号，所以我担心造成混淆。 但是内置的 csv 库只支持以单个字符 rune 来分割。参考：https://golang.org/pkg/encoding/csv/ 不得已，用默认的英文逗号，测试了一下。 writer := csv.NewWriter(file) writer.Comma = ',' // 默认就是逗号，这行代码可省略 golang 非常的贴心，在字段包含英文逗号时， ...

阅读全文...

2020-06-22 · 阅读 6945 · 字数 365

解析百度统计 CSV 日志的系统运行了快一个月，没有出现问题。但是今天早上突然报错退出： > import_log /mnt/d/to_del/2020-06-20.csv 2020/06/22 07:55:18 parse error on line 686, column 60: extraneous or missing " in quoted-field 对应的 CSV 文件数据行为类似这样的结构，报错点在“烟台”前的一个双引号上。 "515","2020/06/20 13:07:08","烟台 "gola ...

阅读全文...